Beyond IPS: Reliable Counterfactual Evaluation in Multi-Stage Ad Systems without Logged Propensities
无Logged Propensities的多阶段广告反事实评估：混合加权奖励模型
🧭 广告排序离线评估 · 密度比加权 ★ 深度解读
Meta Platforms, Inc.
用多分类域分类器估计密度比，训练混合加权奖励模型，在无倾向分下提升广告离线策略选择可靠性
📌 工作参考价值（4 点）
- 在无 propensities 的多阶段推荐/广告系统中，做离线策略筛选优先用「共享 reward model + mixture-weighted density ratio」，不要逐候选训练 per-policy reward model；实验显示 per-policy 加权反而更差。
- 用多分类 domain classifier 区分 logging 与候选策略产生的 impression，取 q(j|z)/q(0|z) 作为密度比；裁剪到 c=10–100 并监控 ESS/n，ESS 过低说明重叠差、权重不可靠。
- 把冷启动质量（q(0|z)<τ 的候选 impression 比例）作为离线评估天堑诊断：若过大，离线选出的 top candidate 也可能翻车，应直接送线上 A/B。
- DM 估计值 MAE 偏高，但用于 Top-1 候选选择有效；若要更准确估计各候选价值或回归预算，可加 DR 残差修正，用同一组密度比权重，低重叠时提升明显。